Khương Duy tự là Bá Ước (伯約), người huyện Ký, Thiên Thuỷ[1].

Cha ông là Khương Quýnh từng làm chức Công tào trong quận. Khi người Nhung và người Khương chống lại nhà Ngụy, Khương Quýnh bảo vệ cho thái thú và bị tử trận. Vì vậy nhà Ngụy phong cho ông làm chức Trung lang.

Cha mất sớm, Khương Duy sống với mẹ, say mê Kinh học của Trịnh Huyền, làm chức Thượng kê duyên (ghi chép) trong quận, sau đó ông được làm tùng sự.